ToolSense: A Diagnostic Framework for Auditing Parametric Tool Knowledge in LLMs
ToolSense：审计LLM参数化工具知识的诊断框架
🧭 参数化工具检索诊断与泛化评估 ★ 深度解读
SAP Labs
揭示参数化工具检索在约束解码下高召回与真实意图查询及知识保留之间的严重背离，提出多维度诊断基准与内部化分数。
📌 工作参考价值（4 点）
- 评估时解除约束解码依赖：参数化工具检索（如生成式推荐中的 Semantic ID）常靠 trie 约束解码达到高召回，但真实生成场景往往需要自由解码。应报告内部化分数 IS = Rf@k / Rc@k，暴露对 trie 的隐性依赖，避免上线后崩溃。
- 采用多格式 S1 + LoRA 保留工具语义：单纯的「描述→虚拟令牌」记忆在后续检索微调中极易被覆盖。加入逆向生成（令牌→描述）和区分性多选目标（MCTS），配合 LoRA 冻结大部分参数，可大幅保留工具知识（MCQ 准确率从 29.8% 提升至 41.7%），且自由生成能力更强。
- 训练查询分布需匹配实际用户表达：冗长的工具描述改写与短意图查询之间存在巨大泛化鸿沟（G1→RRB 召回骤降 50+ pp）。在构建训练数据时，应加入不同模糊度层级的自然语言查询（如单工具精确、多工具交叉、模糊目标），否则模型仅在表面词汇匹配上过拟合。
- 提前诊断：Stage 1 的 MCQ 探针可预测下游 OOD 泛化：S1 结束后的事实性知识探测（无需 S2）与 S2 的 RRB 召回强相关（r=0.79），可作为早期停止或配置筛选的信号，节省全量微调成本。